Hagman dilahirkan pada 21 September 1931, di Fort Worth, Texas . [3] Ibunya, Mary Martin, merupakan pelakon Broadway dan bintang komedi muzikal. Bapanya pula, Benjamin Jackson Hagman, yang berketurunan Sweden, adalah seorang akauntan dan peguam yang bekerja sebagai peguam daerah. [4] [5] [6] Ibu bapa Hagman bercerai pada tahun 1936 ketika beliau berusia lima tahun. Beliau tinggal bersama neneknya, Juanita Presley Martin, di Texas dan California semasa ibunya menjadi pelakon bersama Paramount pada tahun 1938. Pada tahun 1940, ibu Hagman bertemu dan berkahwin dengan Richard Halliday sebelum melahirkan anak perempuan, Heller, pada tahun berikutnya. [7] Hagman menghadiri Black-Foxe Military Institute dan Woodstock Country School, sebuah sekolah berasrama di Vermont . [8]

Ketika ibunya pindah ke Bandar New York untuk meneruskan kerjaya Broadway, Hagman kembali tinggal bersama neneknya di California . [9] Beberapa tahun kemudian, neneknya meninggal dan Hagman kembali kepada ibunya di Bandar New York . Pada tahun 1946, Hagman kembali ke kampung halamannya di Weatherford dan bersekolah di Weatherford High School, sehingga tamat. Pada suatu musim panas, beliau bekerja untuk dengan Antelope Tool Company. Walaupun ayahnya mahu Hagman menjadi peguam, [9] beliau lebih tertarik dengan kelas lakonan dan dilaporkan sangat menyukai pementasan. Beliau menamatkan sekolah menengah pada tahun 1949 dan memutuskan untuk melanjutkan pelajaran dalam bidang lakonan. [9] Hagman menghadiri Bard College, New York, dalam jurusan tarian dan drama tetapi meninggalkannya setahun kemudian. [10]